In origine composto da due edifici, fu unificato tra la fine del XV e l’inizio del XVI secolo come attesta l’iscrizione di Giovanni Bellaja, datata 2 agosto 1503, ritrovata nel sottotetto durante i lavori di ristrutturazione seguiti al sisma del 2012.
Divenuta proprietaria dell’intero immobile, agli inizi del 1900 la famiglia dei conti Scroffa volle unificare il giardino realizzandolo con il disegno attuale: piante secolari come i maestosi Gingko Biloba con le foglie a ventaglio che si tingono d’oro ai primi sentori dell’inverno; il maestoso Cercis Siliquastrum dal diamentro di oltre quattro metri, tra i più grandi d’Europa; il Diospero con foglie verdi lucenti che si tingono dei colori d’autunno lasciando sui rami spogli i suoi gustosi frutti per arrivare a maturazione.